一个著名的矢量定量变分自动编码器（VQ-VAE）的问题是，学识渊博的离散表示形式仅使用代码书的全部容量的一小部分，也称为代码书崩溃。我们假设VQ-VAE的培训计划涉及一些精心设计的启发式方法，这是这个问题的基础。在本文中，我们提出了一种新的训练方案，该方案通过新颖的随机去量化和量化扩展标准VAE，称为随机量化变异自动编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段进行量化是随机的，但逐渐收敛于确定性量化，我们称之为自宣传。我们的实验表明，SQ-VAE在不使用常见启发式方法的情况下改善了代码书的利用率。此外，我们从经验上表明，在视觉和语音相关的任务中，SQ-VAE优于VAE和VQ-VAE。
translated by 谷歌翻译
诸如GELU，LIZESION和SOFTMAX之类的非线性操作是变压器模型的必备且昂贵的构建块。有几种先前的作品简化了这些操作，使用查找表或整数计算，但是这种近似值遭受了更低的精度或相当大的硬件成本，并且长期延迟。本文提出了一种精确且硬件友好的近似框架，用于高效变压器推断。我们的框架采用简单的神经网络作为通用近似器，其结构等效地转换成LUT。拟议的框架，称为NN-LUT可以准确地更换流行伯特模型中的所有非线性操作，在面积，功耗和延迟中显着降低。
translated by 谷歌翻译
会员推理攻击（MIA）在机器学习模型的培训数据上提出隐私风险。使用MIA，如果目标数据是训练数据集的成员，则攻击者猜测。对MIAS的最先进的防御，蒸馏为会员隐私（DMP），不仅需要私人数据来保护但是大量未标记的公共数据。但是，在某些隐私敏感域名，如医疗和财务，公共数据的可用性并不明显。此外，通过使用生成的对策网络生成公共数据的琐碎方法显着降低了DMP的作者报道的模型精度。为了克服这个问题，我们在不需要公共数据的情况下，使用知识蒸馏提出对米西亚的小说防御。我们的实验表明，我们防御的隐私保护和准确性与MIA研究中使用的基准表格数据集的DMP相媲美，我们的国防有更好的隐私式权限远非现有防御不使用图像数据集CIFAR10的公共数据。
translated by 谷歌翻译